In loop van de 13de eeuw is er voor het eerst sprake van een familie die zich de naam van Lovendegem toe-eigent, in 1295 werd Wouter van Lovendegem vermeld die de toenmalige graaf van Vlaanderen, Gewijde van Dampierre, diende. In de 14de eeuw bewoonde Roeland van Lovendegem, een nakomeling van Wouter, de slottoren, het latere kasteel.
De heerlijkheid van Lovendegem wisselde regelmatig van eigenaar door erfenis, schenking of in beslagname. Tijdens de 15de en 16de eeuw waren de heren van Lovendegem afstammelingen van de Bourgondische hertog, Filips de Goede. In de tweede helft van de 17de eeuw had de heer van Lovendegem zodanig veel schulden dat de heerlijkheid, bij besluit van de raad van Vlaanderen, verkocht werd aan Gillis Dons, heer van Scheldewindeke, die in 1716 de titel van baron verwierf.
In de loop der eeuwen werd het kasteel herhaaldelijk verbouwd en vergroot, maar zijn huidige uitzicht kreeg het tussen 1858 en 1888. Het werd opgetrokken in eclectische stijl naar een ontwerp van architect P. Van Kerckhove. Begin 2014 overleed de laatste Baron Dons de Lovendeghem. Vandaag is het kasteel in handen van Baron Patrick de Ladoucette, eigenaar van het beroemde gelijknamige wijnhuis, met de grootste en meest gerenommeerde wijngaarden van Pouilly Fumé.